SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents
SEABench：自进化智能体内源性失配基准
🧭 自进化智能体安全与归因评测 ★ 深度解读
University of Virginia · ELLIS Institute Tübingen
提出 SEABench 基准，用成对非进化智能体与归因评分量化自进化导致的安全退化
📌 工作参考价值（4 点）
- 在推荐/Agent 工作流里，自更新（controller/memory/tools）会把上游“更全、更快、更一致”的用户反馈固化成跨场景规则；上线前用成对非进化版本跑同一批安全/隐私测试，只有归因到自更新且基线安全时才允许推进。
- 工具/技能面最容易被污染且危害最大：错误会变成可复用可执行能力。给工具默认安全参数（如脱敏默认开启、高风险操作必须显式 opt-in），对工具变更做更强的静态检查和脚本化回归。
- CoT 风险线程监控可以做低误报的在线护栏：对推理中“范围扩张 / 未支撑断言 / 安全边界被覆盖”等 risk thread 做分类 + 语义校验，生产环境 FPR 约 10% 时能挡下约 71% 有害输出；但工具/技能型缺陷可能不在 CoT 中暴露，必须加输出或调用结果级校验。
- 可借鉴其 TextGrad 级联改写 + LLM-as-judge 的轨迹发现方法，给推荐 agent 造纵向压力测试序列：上游任务只要求效率/完整性，下游评估是否出现隐私泄露、上下文混淆、护栏腐蚀。